Next generation reservoir computing | nature communications (2021)
Daniel J. Gauthier, Erik Bollt, Aaron Griffith & Wendson A. S. Barbosa
hl.icon
$ \bm X_i:時刻 i における入力
$ \bm r_i:時刻 i におけるリザバーの活動
$ \bm Y_i:時刻 i における出力
リザバーの中のノードの値は以下の式で与えられる
$ \bm r_{i+1}=(1-\gamma)\bm r_i + \gamma f(\bm A\bm r_i + \bm W \bm X_i+ \bm b)
$ \gammaによって、自身の活動と外部からの入力を混ざり具合を調節（メタパラメータ）
この時、以下の2つの重みはランダムに設定され、学習によって変更されない
$ \bm A:リザーバー内のノード間の重み
$ \bm W:入力からリザバーへの重み
出力は以下の式で与えられる
$ \bm Y_{i+1}=\bm W_{out}\bm r_{i+1}
この出力の計算に使われる重みだけ変更される（学習）
$ \bm W_{out}:リザバー内の各ノードから出力への重み
学習はターゲットと出力の差などによって行われる
問題となるのは、このランダムにセットされる重みによって性能が大きく変わってしまうこと
あるメタパラメータではうまくいくが、他のメタパラメータでは上手くいかないことがある
Naa_tsure.icon線形の活性化関数で結合されるリザバーから、非線形の活性化関数を通して重みづけて読み出すことでも同様のパフォーマンスを出せる？